大数据概念及常用算法介绍

01.大数据的一些概念

大数据：指无法在一定时间范围内用常规软件工具进行捕捉、管理和处理的数据集合，是需要新处理模式才能具有更强的决策力、洞察发现力和流程优化能力的海量、高增长率和多样化的信息资产。

大数据概念及常用算法介绍

日常使用大数据的一些平台有hadoop 和Microsoft Azure，也有一些数据库软件平台，如：ORACLE （甲骨文）和SQL Server等。

日常的大数据应用主要有：SQL查询和传统报表分析。一些技术应用包括：数据挖掘，机器学习，深度学习，人工智能等。

人工智能（Artificial Intelligence），英文缩写为AI。它是研究、开发用于模拟、延伸和扩展人的智能的理论、方法、技术及应用系统的一门新的技术科学。

人工智能是计算机科学的一个分支，它企图了解智能的实质，并生产出一种新的能以人类智能相似的方式做出反应的智能机器，该领域的研究包括语音识别、图像识别、机器人、自然语言处理、智能搜索和专家系统等。人工智能可以对人的意识、思维的信息过程的模拟。人工智能不是人的智能，但能像人那样思考、也有可能超过人的智能。

数据挖掘（Data Mining），顾名思义就是从海量数据中挖掘隐藏信息，按照教科书的说法，这里的数据是大量的、不完全的、有噪声的、模糊的、随机的实际应用数据，信息指的是隐含的、规律性的、人们事先未知的、但又是潜在有用的并且最终可理解的信息和知识。在商业环境中，企业希望让存放在数据库中的数据能说话，支持决策。所以，数据挖掘更偏向应用。数据挖掘通常与计算机科学有关，并通过统计、在线分析处理、情报检索、机器学习、专家系统（依靠过去的经验法则）和模式识别等诸多方法来实现上述目标。

机器学习（Machine Learning）是指用某些算法指导计算机利用已知数据得出适当的模型，并利用此模型对新的情境给出判断的过程。机器学习的思想并不复杂，它仅仅是对人类生活中学习过程的一个模拟。而在这整个过程中，最关键的是数据。任何通过数据训练的学习算法的相关研究都属于机器学习，包括很多已经发展多年的技术，比如线性回归（Linear Regression）、K均值（K-means，基于原型的目标函数聚类方法）、决策树（Decision Trees，运用概率分析的一种图解法）、随机森林（Random Forest，运用概率分析的一种图解法）、PCA（Principal Component Analysis，主成分分析）、SVM（Support Vector Machine，支持向量机）以及ANN（Artificial Neural Networks，人工神经网络）。

深度学习（Deep Learning）的概念源于人工神经网络的研究。含多隐层的多层感知器就是一种深度学习结构。深度学习通过组合低层特征形成更加抽象的高层表示属性类别或特征，以发现数据的分布式特征表示。深度学习是机器学习研究中的一个新的领域，其动机在于建立、模拟人脑进行分析学习的神经网络，它模仿人脑的机制来解释数据，例如图像，声音和文本。

机器学习是人工智能的一种实现方式，深度学习是机器学习的一种研究方向

数据挖掘主要利用机器学习提供的技术来分析海量数据，利用数据库的技术来管理海量数据

大数据概念及常用算法介绍